在域移位下，跨域几个射击对象检测旨在通过一些注释的目标数据适应目标域中的对象检测器。存在两个重大挑战：（1）高度不足的目标域数据； （2）潜在的过度适应和误导性是由不当放大的目标样本而没有任何限制引起的。为了应对这些挑战，我们提出了一种由两个部分组成的自适应方法。首先，我们提出了一种自适应优化策略，以选择类似于目标样本的增强数据，而不是盲目增加数量。具体而言，我们过滤了增强的候选者，这些候选者在一开始就显着偏离了目标特征分布。其次，为了进一步释放数据限制，我们提出了多级域感知数据增强，以增加增强数据的多样性和合理性，从而利用了跨图像前景 - 背景混合物。实验表明，所提出的方法在多个基准测试中实现了最先进的性能。

Color fundus photography and Optical Coherence Tomography (OCT) are the two most cost-effective tools for glaucoma screening. Both two modalities of images have prominent biomarkers to indicate glaucoma suspected. Clinically, it is often recommended to take both of the screenings for a more accurate and reliable diagnosis. However, although numerous algorithms are proposed based on fundus images or OCT volumes in computer-aided diagnosis, there are still few methods leveraging both of the modalities for the glaucoma assessment. Inspired by the success of Retinal Fundus Glaucoma Challenge (REFUGE) we held previously, we set up the Glaucoma grAding from Multi-Modality imAges (GAMMA) Challenge to encourage the development of fundus \& OCT-based glaucoma grading. The primary task of the challenge is to grade glaucoma from both the 2D fundus images and 3D OCT scanning volumes. As part of GAMMA, we have publicly released a glaucoma annotated dataset with both 2D fundus color photography and 3D OCT volumes, which is the first multi-modality dataset for glaucoma grading. In addition, an evaluation framework is also established to evaluate the performance of the submitted methods. During the challenge, 1272 results were submitted, and finally, top-10 teams were selected to the final stage. We analysis their results and summarize their methods in the paper. Since all these teams submitted their source code in the challenge, a detailed ablation study is also conducted to verify the effectiveness of the particular modules proposed. We find many of the proposed techniques are practical for the clinical diagnosis of glaucoma. As the first in-depth study of fundus \& OCT multi-modality glaucoma grading, we believe the GAMMA Challenge will be an essential starting point for future research.

In data containing heterogeneous subpopulations, classification performance benefits from incorporating the knowledge of cluster structure in the classifier. Previous methods for such combined clustering and classification either 1) are classifier-specific and not generic, or 2) independently perform clustering and classifier training, which may not form clusters that can potentially benefit classifier performance. The question of how to perform clustering to improve the performance of classifiers trained on the clusters has received scant attention in previous literature, despite its importance in several real-world applications. In this paper, first, we theoretically analyze the generalization performance of classifiers trained on clustered data and find conditions under which clustering can potentially aid classification. This motivates the design of a simple k-means-based classification algorithm called Clustering Aware Classification (CAC) and its neural variant {DeepCAC}. DeepCAC effectively leverages deep representation learning to learn latent embeddings and finds clusters in a manner that make the clustered data suitable for training classifiers for each underlying subpopulation. Our experiments on synthetic and real benchmark datasets demonstrate the efficacy of DeepCAC over previous methods for combined clustering and classification.

在许多领域，包括计算机视觉和模式识别的许多领域，图形匹配（GM）一直是一个基础。尽管最近取得了令人印象深刻的进展，但现有的深入GM方法通常在处理这两个图中的异常值方面都有困难，这在实践中无处不在。我们提出了基于加权图匹配的基于深的增强学习（RL）方法RGM，其顺序节点匹配方案自然适合选择性嵌入式匹配与异常值的策略。设计了可撤销的动作方案，以提高代理商在复杂受约束的匹配任务上的灵活性。此外，我们提出了一种二次近似技术，以在存在异常值的情况下使亲和力矩阵正常化。因此，当目标得分停止增长时，RL代理可以及时完成匹配，否则，否则会有额外的超参数，即需要常见的嵌入式数量来避免匹配异常值。在本文中，我们专注于学习最通用的GM形式的后端求解器：Lawler's QAP，其输入是亲和力矩阵。我们的方法还可以使用亲和力输入来增强其他求解器。合成和现实世界数据集的实验结果展示了其在匹配准确性和鲁棒性方面的出色性能。

With the attention mechanism, transformers achieve significant empirical successes. Despite the intuitive understanding that transformers perform relational inference over long sequences to produce desirable representations, we lack a rigorous theory on how the attention mechanism achieves it. In particular, several intriguing questions remain open: (a) What makes a desirable representation? (b) How does the attention mechanism infer the desirable representation within the forward pass? (c) How does a pretraining procedure learn to infer the desirable representation through the backward pass? We observe that, as is the case in BERT and ViT, input tokens are often exchangeable since they already include positional encodings. The notion of exchangeability induces a latent variable model that is invariant to input sizes, which enables our theoretical analysis. - To answer (a) on representation, we establish the existence of a sufficient and minimal representation of input tokens. In particular, such a representation instantiates the posterior distribution of the latent variable given input tokens, which plays a central role in predicting output labels and solving downstream tasks. - To answer (b) on inference, we prove that attention with the desired parameter infers the latent posterior up to an approximation error, which is decreasing in input sizes. In detail, we quantify how attention approximates the conditional mean of the value given the key, which characterizes how it performs relational inference over long sequences. - To answer (c) on learning, we prove that both supervised and self-supervised objectives allow empirical risk minimization to learn the desired parameter up to a generalization error, which is independent of input sizes. Particularly, in the self-supervised setting, we identify a condition number that is pivotal to solving downstream tasks.

由不同类型的节点和边缘组成的学习异质图增强了均匀图技术的结果。这样的图形的一个有趣示例是代表可能的软件代码执行流的控制流图。由于此类图代表了代码的更多语义信息，因此为这些图形开发技术和工具可能对检测软件中的漏洞的可靠性非常有益。但是，现有的异质图技术仍然不足以处理复杂的图形，在处理复杂的图形中，不同类型的节点和边缘数量较大且可变。本文集中于以太坊智能合约作为由构建在控制流图和包含不同类型的节点和链接的呼叫图的异质合同图表示的软件代码样本。我们提出了曼多（Mando），这是一种新的异质图表示，以学习这种异质合同图的结构。 Mando提取自定义的Metapaths，该Metapaths在不同类型的节点及其邻居之间建立了关系连接。此外，它开发了一个多米达异构图注意网络，以学习不同类型的节点及其在异质合同图中的多层嵌入，可以更准确地捕获智能合约的代码语义，并便利两者。 - 水平和粗粒合同级别的漏洞检测。我们对大型智能合同数据集的广泛评估表明，曼多（Mando）在粗粒合同水平上改善了其他技术的脆弱性检测结果。更重要的是，它是第一种基于学习的方法，能够在细粒度的线条层面上识别漏洞，并在F1分数方面将基于代码分析的传统漏洞检测方法显着提高了11.35％至70.81％。

鉴于它在提取功能表示方面的力量，对比性的自我监督学习已成功整合到（深）强化学习（RL）的实践中，从而在各种应用程序中提供了有效的政策学习。尽管取得了巨大的经验成功，但对RL的对比学习的理解仍然难以捉摸。为了缩小这样的差距，我们研究了Markov决策过程（MDP）和Markov Games（MGS）的对比度学习如何赋予RL的能力。对于这两种模型，我们建议通过最大程度地减少对比度损失来提取低级别模型的正确特征表示。此外，在在线环境下，我们提出了新颖的上限置信界（UCB）型算法，该算法将这种对比度损失与MDP或MGS的在线RL算法结合在一起。从理论上讲，我们进一步证明了我们的算法恢复了真实表示形式，并同时在学习MDP和MGS中学习最佳策略和NASH平衡方面同时实现了样本效率。我们还提供实证研究，以证明基于UCB的RL的对比度学习方法的功效。据我们所知，我们提供了第一种可证明有效的在线RL算法，该算法结合了代表学习的对比学习。我们的代码可从https://github.com/baichenjia/contrastive-ucb获得。

现有的基于深度学习（基于DL的）无监督的显着对象检测（USOD）方法基于传统显着性方法和预处理深网的先验知识，在图像中学习显着信息。但是，这些方法采用了一种简单的学习策略来训练深层网络，因此无法将培训样本的“隐藏”信息正确地纳入学习过程。此外，对于分割对象至关重要的外观信息仅在网络训练过程后用作后处理。为了解决这两个问题，我们提出了一个新颖的外观引导的细心自进度学习框架，以无视显着对象检测。提出的框架将自定进度的学习（SPL）和外观指导集成到统一的学习框架中。具体而言，对于第一期，我们提出了一个细心的自进度学习（ASPL）范式，该范式以有意义的命令组织培训样本，以逐步挖掘更详细的显着性信息。我们的ASPL促进了我们的框架，能够自动产生软关注权重，以纯粹的自学方式衡量训练样本的学习难度。对于第二期，我们提出了一个外观指南模块（AGM），该模块将每个像素作为显着性边界的概率的局部外观对比，并通过最大化概率找到目标对象的潜在边界。此外，我们通过汇总其他模态数据的外观向量，例如深度图，热图像或光流，将框架进一步扩展到其他多模式SOD任务。关于RGB，RGB-D，RGB-T和视频SOD基准的广泛实验证明，我们的框架可以针对现有的USOD方法实现最新性能，并且与最新的监督SOD方法相当。

研究兴趣大大增加了将数据驱动方法应用于力学问题的问题。尽管传统的机器学习（ML）方法已经实现了许多突破，但它们依赖于以下假设：培训（观察到的）数据和测试（看不见）数据是独立的且分布相同的（i.i.d）。因此，当应用于未知的测试环境和数据分布转移的现实世界力学问题时，传统的ML方法通常会崩溃。相反，分布（OOD）的概括假定测试数据可能会发生变化（即违反I.I.D.假设）。迄今为止，已经提出了多种方法来改善ML方法的OOD概括。但是，由于缺乏针对OOD回归问题的基准数据集，因此这些OOD方法在主导力学领域的回归问题上的效率仍然未知。为了解决这个问题，我们研究了机械回归问题的OOD泛化方法的性能。具体而言，我们确定了三个OOD问题：协变量移位，机制移位和采样偏差。对于每个问题，我们创建了两个基准示例，以扩展机械MNIST数据集收集，并研究了流行的OOD泛化方法在这些机械特定的回归问题上的性能。我们的数值实验表明，在大多数情况下，与传统的ML方法相比，在大多数情况下，在这些OOD问题上的传统ML方法的性能更好，但迫切需要开发更强大的OOD概括方法，这些方法在多个OOD场景中有效。总体而言，我们希望这项研究以及相关的开放访问基准数据集将进一步开发用于机械特定回归问题的OOD泛化方法。

尖峰神经网络是低功率环境的有效计算模型。基于SPIKE的BP算法和ANN-TO-SNN（ANN2SNN）转换是SNN培训的成功技术。然而，尖峰碱BP训练速度很慢，需要大量的记忆成本。尽管Ann2NN提供了一种培训SNN的低成本方式，但它需要许多推理步骤才能模仿训练有素的ANN以表现良好。在本文中，我们提出了一个snn-to-ang（SNN2ANN）框架，以快速和记忆的方式训练SNN。 SNN2ANN由2个组成部分组成：a）ANN和SNN和B）尖峰映射单元之间的重量共享体系结构。首先，该体系结构在ANN分支上训练重量共享参数，从而快速训练和SNN的记忆成本较低。其次，尖峰映射单元确保ANN的激活值是尖峰特征。结果，可以通过训练ANN分支来优化SNN的分类误差。此外，我们设计了一种自适应阈值调整（ATA）算法来解决嘈杂的尖峰问题。实验结果表明，我们的基于SNN2ANN的模型在基准数据集（CIFAR10，CIFAR100和TININE-IMAGENET）上表现良好。此外，SNN2ANN可以在0.625倍的时间步长，0.377倍训练时间，0.27倍GPU内存成本以及基于SPIKE的BP模型的0.33倍尖峰活动下实现可比精度。